Het verhaal van het kasteel van Vichte begint aan het einde van de 11de eeuw, toen Robrecht II, Graaf van Vlaanderen, een stuk bos aan de rechteroever van de Vichtebeek schonk aan zijn ridder Goswin. Rond 1100 bouwde Goswin, de eerste heer van Vichte, daar een bescheiden kasteel. Dit kasteel was aanvankelijk een woontoren op een motte, een versterkte aarden heuvel omringt door water, bereikbaar via een ophaalbrug. Bijna zes eeuwen lang diende dit "Oud Kasteel" als het hoofdkwartier van het adellijk geslacht "van der Vichte".
In de 16de eeuw onderging het kasteel een transformatie. De Antwerpse koopman Maarten de la Faille liet de houten en lemen structuren vervangen door een stenen constructie, waarvan het gelijkvloers met Romaanse invloeden bewaard is gebleven en nu dienst doet als kelderverdieping.
Vanwege financiële moeilijkheden moest de laatste heer van Vichte, Henri-Theodoor de Fourneau, Graaf van Cruquembourg, het kasteel en de omliggende gronden in 1817 verkopen aan Jacques Meyers, een welgestelde burger uit het Antwerpse Zandhoven. Na de Eerste Wereldoorlog kwam het domein in handen van de brouwersfamilie Verhaeghe, die het kasteel tot op de dag van vandaag bewoont. In 1973 werd het kasteel beschermd als monument, en het vormt samen met zijn directe omgeving een beschermd landschap.